Mikhail Ivanovich Kalinin được sinh ra trong một gia đình nông dân gốc Nga tại làng Verkhnyaya Troitsa (Верхняя Троица), Tver Governorate, Nga. Ông là anh trai của Fedor Kalinin.

Kalinin học xong tại một trường địa phương vào năm 1889 và làm việc một thời gian tại một trang trại.[2] Ông chuyển đến Saint Petersburg, nơi ông tìm được việc làm là một công nhân kỹ nghệ sắt vào năm 1895. Ông cũng làm quản gia và sau đó làm công nhân đường sắt tại kho của Tbilisi, nơi ông gặp Sergei Alliluyev, cha của người vợ thứ hai của Stalin.

Năm 1906, ông kết hôn với người Do Thái là Nikolina Lorberg, người gốc Estonia (tiếng Nga: Екатерина анвнаовна орберг (Yekaterina Ivanovna Lorberg, 1882–1960).[3]